iT邦幫忙

2024 iThome 鐵人賽

DAY 27
1

▋在Dify設定模型


https://ithelp.ithome.com.tw/upload/images/20241011/20169058COHUUD6njj.jpg
昨天在Dify上已經初步認識了各個頁面的功能,但如果實際嘗試的話,會發現還是沒辦法建立一個RAG聊天機器人,關鍵在於,我們還沒給定Dify可以用的模型阿,因此,我們今天要把聊天機器人的大腦設定起來,讓Dify可以用到指定的模型。

連接模型

  1. 在右上角帳號名稱中,點擊setting進入設定頁面:
    https://ithelp.ithome.com.tw/upload/images/20241011/20169058Gtycfq9pih.png

  2. 點擊Model Provider進入模型設定頁面:
    https://ithelp.ithome.com.tw/upload/images/20241011/20169058qmWNCnkLsG.png

Dify支援許多模型,其中包含一些常見的主流模型,例如ChatGPT背後的OpenAI,在這裡就可以選擇OpenAI,並輸入API Key,連接後就可以直接使用:
https://ithelp.ithome.com.tw/upload/images/20241011/20169058Wn9LWpgs28.pnghttps://ithelp.ithome.com.tw/upload/images/20241011/20169058AqKTf4X7g0.png

大家可以任意使用自己需要的模型,但秉持著我們系列文不使用付費服務的精神,接下來我們要使用Ollama這個開源的模型控管服務,來連接同樣開源的LLM模型-llama3以及Embedding模型-mxbai-embed-large,這樣我們的聊天機器人就可以有能說人話的大腦和提升檢索效果的文字轉向量功能。

  1. 使用Ollama連接模型
    這裡我們先介紹怎麼連接,如果還沒有Ollama和相關的模型也沒關係,先有個設定的概念,下一篇我們會教大家怎麼建立地端的Ollama和模型。

a. Model Provider頁面中選擇Ollama:
https://ithelp.ithome.com.tw/upload/images/20241011/20169058DjSZi1VuxH.png

b. 輸入LLM模型-llama3的相關資料,完成後點擊save儲存:
https://ithelp.ithome.com.tw/upload/images/20241011/20169058qWNaqjBwSK.png

c. 都設定正確的話會看到已經成功使用Ollama連接llama3這個LLM模型,接著點擊Add Model,再接續新增Embedding模型:
https://ithelp.ithome.com.tw/upload/images/20241011/20169058AmbyT9Mt3J.png

d. 選擇Text Embedding,輸入Embedding模型-mxbai-embed-large的相關資料,完成後點擊save儲存:
https://ithelp.ithome.com.tw/upload/images/20241011/20169058cLzcypJ2I7.png

e. 如果都設定正確,就可以看到我們的Dify,已經利用Ollama有了兩個可以用的模型了,成功完成模型設定:
https://ithelp.ithome.com.tw/upload/images/20241011/201690584NVLK3LWQQ.png

▋下回預告


今天介紹了Dify的模型設定方式,大家可以使用自己喜歡的模型來玩玩看,但如果沒有模型也沒關係,明天就會來跟大家分享,怎麼在地端利用Ollama簡單把模型變成可用的服務。

▋參考資料


Dify(github)
https://github.com/langgenius/dify/tree/main
Dify(官方文件)
https://docs.dify.ai/getting-started/install-self-hosted/local-source-code
Adobe Firefly(AI圖片生成)
https://www.adobe.com/products/firefly.html

▋後記


今年沒有彈性補假,把國慶假日變成連假,但做3休1,再做1休2感覺也是挺不錯的,可以再最後的幾天鐵人賽,多玩一點Dify再跟大家分享筆者自己遇到的坑,因為一開始打開來用,可是沒有LLM和Embedding Model,讓我們一起完成這個聊天機器人的最後設定吧。


上一篇
Part2: 地端實作聊天機器人-登入自己部屬的Dify
下一篇
Part2: 地端實作聊天機器人-用Ollama部屬地端LLM模型
系列文
從Azure雲端服務架構入門,在本地端結合RAG&LLM打造專屬的聊天機器人。30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言